1. 简介
上次更新日期：2022 年 2 月 8 日
为什么需要多云端流式传输？
企业正积极寻求将工作负载分散到多个云平台，因为在业务运营工作流程中采用多个云服务提供商具有以下多项优势：
- 受制于供应商
- 降低业务连续性风险
- 依赖项和对单一技术栈的依赖
构建内容
在此 Codelab 中，您将利用 Confluent Cloud 在 AWS 和 GCP 之间设置多云端数据流处理。您将学习以下内容：
- 在 GCP 上的 Confluent Cloud 中设置专用 Kafka 集群。
- 在 Confluent Cloud 与您的 GCP 项目之间设置 VPC 对等互连，以便在专用网络上访问 Confluent Cloud。
- 在 AWS 项目和 GCP 项目之间设置 VPN 隧道，以便两个超大规模云平台上的资源可以相互连接。
- 从 AWS 访问 Confluent Kafka，并设置从 AWS 到 GCP 的流式处理流水线，利用 Confluent Kafka Cloud。
学习内容
- 如何在 Confluent Cloud Kafka 与您的 GCP 项目之间设置 VPC 对等互连。
- 如何在 AWS 和 GCP 项目之间设置 VPN 隧道。
- 如何从 AWS 项目访问 GCP 托管的 Confluent Cloud。
本 Codelab 主要介绍如何构建多云数据流。对于不相关的概念，我们仅会略作介绍，但是会提供相应代码块供您复制和粘贴。
所需条件
- AWS 项目访问权限。
- GCP 项目访问权限。
- GCP 和 AWS 云经验。
- 通过 GCP Marketplace 订阅 Confluent Kafka。
2. 准备工作
设置 AWS 与 GCP 之间的 VPN 连接
- 此演示在 GCP 中使用默认 VPC (asia-southeast1)，在 AWS 中使用 ng-vpc-103-mum (ap-south1)。
- 在 AWS 上，创建客户网关和虚拟专用网关 (VPG)。将 VPG 连接到 AWS VPC。
- 在 AWS 上创建站点到站点 VPN 连接。
- 下载在 AWS 中创建的隧道的配置文件。选择
- 供应商：Generic
- 平台：通用
- 软件：不依赖特定供应商
- IKE 版本：IKEv2
- 在 GCP 上创建 VPN 网关和 VPN 隧道。
为两个隧道提供从下载的 AWS 配置文件中获得的 IP 地址和 Ikev2 密钥。
- 完成后，隧道应在 AWS 和 GCP 上处于“UP”和“Running”状态。
隧道设置现已完成。
- 选择将用于配置 Confluent Cloud 的 CIDR 块。在 AWS 上将此添加到 VPN 隧道中作为静态路由。
GCP Marketplace 中的 Confluent Kafka
- 从 GCP Marketplace 订阅 Confluent Kafka。
- 登录 Confluent Cloud 并创建专用集群
- 提供 GCP 项目 ID 以及用于对等互连的 VPC 网络详细信息。
- 使用提供的 Confluent Cloud 集群网络详细信息完成 GCP 端的 VPC 对等互连。
- Confluent Cloud 集群现已处于活跃状态，并已与 GCP 对等互连。
- 测试从 GCP 到 Confluent 集群的连接。
- 预配 GCE 实例并安装 Python3。
- 在 Confluent Cloud 中生成 Python 客户端密钥
- 从 GCP 实例运行测试脚本“producer.py”：
- 现在，在 AWS 实例上下载示例代码库，然后执行“producer.py”脚本，以测试从 GCP 到 Confluent Cloud 的混合连接。
3. 恭喜
恭喜，您已成功在 AWS 和 GCP 之间构建了多云跨区域 Confluent Kafka 流式传输平台。
有用的 Codelab**？**
查看下列 Codelab…